Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery
行动前：评测LLM的前瞻假设发现能力
🧭 LLM 前瞻假设推理评估
University of Chinese Academy of Sciences · Institute of Software, Chinese Academy of Sciences · Alibaba Group
提出前瞻假设发现任务与HypoArena基准，评测LLM在证据不足下自主构建可检验假设空间的能力。
📌 工作参考价值（4 点）
- Agent 的异常诊断与归因：在电商/广告系统中，当指标异常（如CTR突降）时，可借鉴 PHD 框架让 Agent 先自动生成多层次假设（模型更新、流量变化、A/B 实验干扰等），再调用工具验证，提升诊断效率和覆盖率。
- 假设空间构建与评估方法：HypoEval 的双向 pairwise + Bradley-Terry 排序和六维评分，可直接迁移到 Agent 输出的候选方案对比（如推荐策略多选项评估），用竞技场模式仲裁更符合实际决策场景。
- 数据逆向构造方法：Retrospective Context Regression 可从已完成的分析报告中剥离结论与因果归因，生成前结论状态的训练样本，用于微调业务 Agent 的假设生成能力，解决“事后诸葛亮”的数据偏差。
- 结构化技巧的权衡：论文发现结构化分析技巧对弱模型有提升但可能损害强模型，提示在 Agent 中引入思维链等技巧需做模型层级的自适应，避免一刀切破坏原有推理优势。